常用的几种大数据架构剖析

4顶
0踩

2018-04-12 10:37 by 副主编 jihong10102006 评论(0) 有74397人浏览

大数据架构

数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的数据分析，已经有了非常成熟和稳定的技术方案和生态系统，对于BI系统来说，大概的架构图如下：

可以看到在BI系统里面，核心的模块是Cube，Cube是一个更高层的业务模型抽象，在Cube之上可以进行多种操作，例如上钻、下钻、切片等操作。大部分BI系统都基于关系型数据库，关系型数据库使用SQL语句进行操作，但是SQL在多维操作和分析的表示能力上相对较弱，所以Cube有自己独有的查询语言MDX，MDX表达式具有更强的多维表现能力，所以以Cube为核心的分析系统基本占据着数据统计分析的半壁江山，大多数的数据库服务厂商直接提供了BI套装软件服务，轻易便可搭建出一套Olap分析系统。不过BI的问题也随着时间的推移逐渐显露出来：

BI系统更多的以分析业务数据产生的密度高、价值高的结构化数据为主，对于非结构化和半结构化数据的处理非常乏力，例如图片，文本，音频的存储，分析。
由于数据仓库为结构化存储，在数据从其他系统进入数据仓库这个东西，我们通常叫做ETL过程，ETL动作和业务进行了强绑定，通常需要一个专门的ETL团队去和业务做衔接，决定如何进行数据的清洗和转换。
随着异构数据源的增加，例如如果存在视频，文本，图片等数据源，要解析数据内容进入数据仓库，则需要非常复杂等ETL程序，从而导致ETL变得过于庞大和臃肿。
当数据量过大的时候，性能会成为瓶颈，在TB/PB级别的数据量上表现出明显的吃力。
数据库的范式等约束规则，着力于解决数据冗余的问题，是为了保障数据的一致性，但是对于数据仓库来说，我们并不需要对数据做修改和一致性的保障，原则上来说数据仓库的原始数据都是只读的，所以这些约束反而会成为影响性能的因素。
ETL动作对数据的预先假设和处理，导致机器学习部分获取到的数据为假设后的数据，因此效果不理想。例如如果需要使用数据仓库进行异常数据的挖掘，则在数据入库经过ETL的时候就需要明确定义需要提取的特征数据，否则无法结构化入库，然而大多数情况是需要基于异构数据才能提取出特征。

在一系列的问题下，以Hadoop体系为首的大数据分析平台逐渐表现出优异性，围绕Hadoop体系的生态圈也不断的变大，对于Hadoop系统来说，从根本上解决了传统数据仓库的瓶颈的问题，但是也带来一系列的问题：

从数据仓库升级到大数据架构，是不具备平滑演进的，基本等于推翻重做。
大数据下的分布式存储强调数据的只读性质，所以类似于Hive，HDFS这些存储方式都不支持update，HDFS的write操作也不支持并行，这些特性导致其具有一定的局限性。

基于大数据架构的数据分析平台侧重于从以下几个维度去解决传统数据仓库做数据分析面临的瓶颈：

分布式计算：分布式计算的思路是让多个节点并行计算，并且强调数据本地性，尽可能的减少数据的传输，例如Spark通过RDD的形式来表现数据的计算逻辑，可以在RDD上做一系列的优化，来减少数据的传输。
分布式存储：所谓的分布式存储，指的是将一个大文件拆成N份，每一份独立的放到一台机器上，这里就涉及到文件的副本，分片，以及管理等操作，分布式存储主要优化的动作都在这一块。
检索和存储的结合：在早期的大数据组件中，存储和计算相对比较单一，但是目前更多的方向是在存储上做更多的手脚，让查询和计算更加高效，对于计算来说高效不外乎就是查找数据快，读取数据快，所以目前的存储不单单的存储数据内容，同时会添加很多元信息，例如索引信息。像类似于parquet和carbondata都是这样的思想。

总的来说，目前围绕Hadoop体系的大数据架构大概有以下几种：

传统大数据架构

之所以叫传统大数据架构，是因为其定位是为了解决传统BI的问题，简单来说，数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。可以看到，其依然保留了ETL的动作，将数据经过ETL动作进入数据存储。

优点：简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件。

缺点：对于大数据来说，没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin的局限性非常明显，远远没有BI下的Cube的灵活度和稳定度，因此对业务支撑的灵活度不够，所以对于存在大量报表，或者复杂的钻取的场景，需要太多的手工定制化，同时该架构依旧以批处理为主，缺乏实时的支撑。

适用场景：数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。

流式架构

在传统大数据架构的基础上，流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，转而替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所以该存储并非发生在数据湖，而是在外围系统。

优点：没有臃肿的ETL过程，数据的实效性非常高。

缺点：对于流式架构来说，不存在批处理，因此对于数据的重播和历史统计无法很好的支撑。对于离线分析仅仅支撑窗口之内的分析。

适用场景：预警，监控，对数据有有效期要求的情况。

Lambda架构

Lambda架构算是大数据系统里面举足轻重的架构，大多数架构基本都是Lambda架构或者基于其变种的架构。Lambda的数据通道分为两条分支：实时流和离线。实时流依照流式架构，保障了其实时性，而离线则以批处理方式为主，保障了最终一致性。什么意思呢？流式通道处理为保障实效性更多的以增量计算为主辅助参考，而批处理层则对数据进行全量运算，保障其最终的一致性，因此Lambda最外层有一个实时层和离线层合并的动作，此动作是Lambda里非常重要的一个动作，大概的合并思路如下：

优点：既有实时又有离线，对于数据分析场景涵盖的非常到位。

缺点：离线层和实时流虽然面临的场景不相同，但是其内部处理的逻辑却是相同，因此有大量荣誉和重复的模块存在。

适用场景：同时存在实时和离线需求的情况。

Kappa架构

Kappa架构在Lambda 的基础上进行了优化，将实时和流部分进行了合并，将数据通道以消息队列进行替代。因此对于Kappa架构来说，依旧以流处理为主，但是数据却在数据湖层面进行了存储，当需要进行离线分析或者再次计算的时候，则将数据湖的数据再次经过消息队列重播一次则可。

优点：Kappa架构解决了Lambda架构里面的冗余部分，以数据可重播的超凡脱俗的思想进行了设计，整个架构非常简洁。

缺点：虽然Kappa架构看起来简洁，但是施难度相对较高，尤其是对于数据重播部分。

适用场景：和Lambda类似，改架构是针对Lambda的优化。

Unifield架构

以上的种种架构都围绕海量数据处理为主，Unifield架构则更激进，将机器学习和数据处理揉为一体，从核心上来说，Unifield依旧以Lambda为主，不过对其进行了改造，在流处理层新增了机器学习层。可以看到数据在经过数据通道进入数据湖后，新增了模型训练部分，并且将其在流式层进行使用。同时流式层不单使用模型，也包含着对模型的持续训练。

优点：Unifield架构提供了一套数据分析和机器学习结合的架构方案，非常好的解决了机器学习如何与数据平台进行结合的问题。

缺点：Unifield架构实施复杂度更高，对于机器学习架构来说，从软件包到硬件部署都和数据分析平台有着非常大的差别，因此在实施过程中的难度系数更高。

适用场景：有着大量数据需要分析，同时对机器学习方便又有着非常大的需求或者有规划。

总结

以上几种架构为目前数据处理领域使用比较多的几种架构，当然还有非常多其他架构，不过其思想都会或多或少的类似。数据领域和机器学习领域会持续发展，以上几种思想或许终究也会变得过时。

查看图片附件

来自: 白发川

分享到：

4
顶

0
踩

评论共 0 条请登录后发表评论

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

第十二期:常用的几种大数据架构剖析

常用的几种大数据架构剖析随着大数据技术的发展，数据挖掘、数据探索等专有名词曝光度越来越高，但是在类似于Hadoop系列的大数据分析系统大行其道之前，数据分析工作已经经历了长足的发展，尤其是以BI系统为主的...

五种大数据架构简介

虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理...

解读主流大数据架构

解读主流大数据架构前几天读到白发川的一篇文章《对比解读五种主流...参考：常用的几种大数据架构剖析引用了作者文中的一些图片，版权归作者所有。从互联网上下载引用的图片，也归原作者所有。 1. ...

大数据常用的架构

大数据常用的架构随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时...

大数据架构简介

通过合理设计和搭建大数据架构，可以提高数据处理的效率和质量，使得企业和组织能够更好地利用大数据来支持决策和创新。数据源可以是结构化数据，如关系数据库中的表格数据，也可以是非结构化数据，如日志文件、...

大数据架构之--Kappa架构

Kappa 架构是由 LinkedIn 的前首席工程师杰伊·克雷普斯（Jay Kreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括 Apache Kafka 和 Apache Samza 这样的流处理系统）的作者之一。 Kreps 提出了一个改进 ...

大数据架构新解

下图是阿里巴巴大数据系统架构图：一、数据采集层数据采集主要分成以下三块数据： 1，Web 端日志 2，App 端日志 3，第三方数据（比如 mysql 增量数据同步） Web 端和 App 端的日志数据都需要制定各个场景下的...

深度解密 5 类大数据架构及实现

前几天读到白发川的一篇文章《对比解读五种主流大数据架构的数据分析能力》，文中详细总结了各类数据架构的应用以及原理。作为一名在数据仓库耕耘多年的技术人员，对于其中的一些技术细节还是破解兴趣的，所以随着...

高校学生选课系统项目源码资源

项目名称：高校学生选课系统内容概要：高校学生选课系统是为了方便高校学生进行选课管理而设计的系统。该系统提供了学生选课、查看课程信息、管理个人课程表等功能，同时也为教师提供了课程发布和管理功能，以及管理员对整个选课系统的管理功能。适用人群：学生：高校本科生和研究生，用于选课、查看课程信息、管理个人课程表等。教师：高校教师，用于发布课程、管理课程信息和学生选课情况等。管理员：系统管理员，用于管理整个选课系统，包括用户管理、课程管理、权限管理等。使用场景及目标：学生选课场景：学生登录系统后可以浏览课程列表，根据自己的专业和兴趣选择适合自己的课程，并进行选课操作。系统会实时更新学生的选课信息，并生成个人课程表。教师发布课程场景：教师登录系统后可以发布新的课程信息，包括课程名称、课程描述、上课时间、上课地点等。发布后的课程将出现在课程列表中供学生选择。管理员管理场景：管理员可以管理系统的用户信息，包括学生、教师和管理员账号的添加、删除和修改；管理课程信息，包括课程的添加、删除和修改；管理系统的权限控制，包括用户权限的分配和管理。目标：为高校学生提

TC-125 230V 50HZ 圆锯

影音娱乐北雨影音系统 v1.0.1-bymov101.rar

北雨影音系统 v1.0.1_bymov101.rar 是一个计算机专业的 JSP 源码资料包，它为用户提供了一个强大而灵活的在线影音娱乐平台。该系统集成了多种功能，包括视频上传、播放、分享和评论等，旨在为用户提供一个全面而便捷的在线视频观看体验。首先，北雨影音系统具有强大的视频上传功能。用户可以轻松地将本地的视频文件上传到系统中，并与其他人分享。系统支持多种视频格式，包括常见的 MP4、AVI、FLV 等，确保用户能够方便地上传和观看各种类型的视频。其次，该系统提供了丰富的视频播放功能。用户可以选择不同的视频进行观看，并且可以调整视频的清晰度、音量等参数，以适应不同的观看需求。系统还支持自动播放下一个视频的功能，让用户可以连续观看多个视频，无需手动切换。此外，北雨影音系统还提供了一个社交互动的平台。用户可以在视频下方发表评论，与其他观众进行交流和讨论。这为用户之间的互动提供了便利，增加了观看视频的乐趣和参与感。最后，该系统还具备良好的用户体验和界面设计。界面简洁明了，操作直观易用，让用户可以快速上手并使用各项功能。同时，系统还提供了个性化的推荐功能，根据用户的观看历史和兴趣，为用户推荐

Tripp Trapp 儿童椅用户指南 STOKKE

Tripp Trapp 儿童椅用户指南

node-v8.13.0-linux-armv6l.tar.gz

Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。

谷歌浏览器 64位-89.0.4389.128.exe

Windows版本64位谷歌浏览器，是由Google谷歌公司开发的一款电脑版网络浏览器，可以运行在Windows 10/8.1/8/7 64位的操作系统上。该浏览器是基于其它开放原始码软件所撰写，包括WebKit和Mozilla，目标是提升稳定性、速度和安全性，并创造出简单且有效率的使用者界面。软件的特点是简洁、快速。并且支持多标签浏览，每个标签页面都在独立的“沙箱”内运行，在提高安全性的同时，一个标签页面的崩溃也不会导致其他标签页面被关闭。此外，谷歌浏览器(Google Chrome)基于更强大的JavaScript V8引擎，这是当前Web浏览器所无法实现的。

适用于鲲鹏麒麟的OpenJDK1.8

毕业设计-基于SSH的任务调度系统的设计与实现

任务调度试系统，基本功能包括：用户的注册、用户的登录、发起项目、项目详细及搜索等。本系统结构如下：（1）用户的注册登录：注册模块：完成用户注册功能；登录模块：完成用户登录功能；（2）发起项目：发起项目模块：完成了项目及项目下一个或者多个任务的添加；项目详细:点击项目名称，可以看到项目及任务详细信息; 搜索项目:完成对项目名称的模糊搜索功能任务调度试系统，基本功能包括：用户的注册、用户的登录、发起项目、项目详细及搜索等。本系统结构如下：（1）用户的注册登录：注册模块：完成用户注册功能；登录模块：完成用户登录功能；（2）发起项目：发起项目模块：完成了项目及项目下一个或者多个任务的添加；项目详细:点击项目名称，可以看到项目及任务详细信息; 搜索项目:完成对项目名称的模糊搜索功能

30个炫酷的数据可视化大屏(含源码)

大屏数据可视化是以大屏为主要展示载体的数据可视化设计，30个可视化大屏包含源码，直接运行文件夹中的index.html，即可看到大屏。内含：数据可视化页面设计；数据可视化演示系统；大数据可视化监管平台；智能看板；翼兴消防监控；南方软件视频平台；全国图书零售监测数据；晋城高速综合管控大数据；无线网络大数据平台；设备大数据；游戏数据大屏；厅店营业效能分析；车辆综合管控平台；政务大数据共享交换平台；智慧社区；物流云数据看板平台；风机可视化大屏等。

基于yolov5识别算法实现的DNF自动脚本源码.zip

优秀源码设计，详情请查看资源源码内容

毕业设计：基于SSM的mysql-在线网上书店（源码 + 数据库 + 说明文档）

毕业设计：基于SSM的mysql_在线网上书店（源码 + 数据库 + 说明文档） 2.系统分析与设计 3 2.1系统分析 3 2.1.1需求分析 3 2.1.2必要性分析 3 2.2系统概要设计 3 2.2.1 项目规划 3 2.2.2系统功能结构图 4 2.3开发及运行环境 4 2.4逻辑结构设计 5 2.4.1 数据库概要说明 5 2.4.2 主要数据表结构 6 2.5文件夹架构 9 2.6编写JAVA BEAN 9 3.网站前台主要功能模块设计 10 3.1前台首页架构设计 10 3.2网站前台首页设计 11 3.3新书上市模块设计 12 3.4特价书籍模块设计 13 3.5书籍分类模块设计 14 3.6会员管理模块设计 15 3.7购物车模块设计 17 3.8收银台设计模块 19 3.9畅销书籍模块设计 20 4.网站后台主要功能模块设计 21 4.1网站后台文件夹架构设计 21 4.2后台主页面设计 21 4.3书籍管理模块设计 22 4.4会员管理模块设计 25 4.5订单管理模块设计 26 4.6公告管理模块设计 28 4.7退出系统页面设计 29 5.网站制作中遇到的问

4顶0踩